Text Clustering with Random Indexing

This project explored how the language technology method Random Indexing can be used for clustering of texts from Swedish newspapers. The resulting Random Indexing based representation yields similar results as an ordinary representation when the number of clusters matches the real categories. With an increased number of clusters the Random Index based representation yields better results than the regular representation. Random Indexing is a scalable and computationally effective method that employs random projections to be able to compare all encountered contexts of the words. The downside of the method is that a certain level of random noise is added to the information content of each word. Unfortunately the small random disturbances become a real concern when combining a number of semantically related words. A number of methods were examined to make a Random Index based representation perform better. Weighting the context of a word with the Inverse Document Frequency and normalizing the resulting vector were found to be the most effective ways to leverage the information content for clustering purposes. The project also included experiments on removal of repeated words, filtering of words based on word frequency and the use of dampening in Random Indexing's weighting schemes. Finally the project examined how to detect programming errors that prevent the index to function properly. Calculating the variance of how the word representations are distributed in the Random Index was shown to be a possible way to find at least one type of severe error. Textklustering med Random Indexing Sammanfattning I detta projekt undersöks hur språkteknologimetoden Random Indexing kan användas för att klustra texter från svenska dagstidningar. Den framtagna representationen ger likvärdigt resultat som traditionellt brukade representationer när antalet kluster motsvarar antalet kategorier. Med ökande antal kluster ger den Random Index baserade varianten bättre resultat. Random Indexing är en skalbar och effektiv metod som använder slumpprojektioner för att kunna göra jämförelser av likhet mellan hur orden används i olika texter. Nackdelen med metoden är att en viss mängd brus introduceras i representationen. Tyvärr är dessa små slumpavvikelser som läggs till inte försumbara när man kombinerar ett antal semantiskt relaterade ord. Ett antal metoder undersöktes för att få den Random Index baserade representationen att prestera bättre. Viktning med Inversa Dokument Frekvensen av de ord som finns i närheten av ett ord samt normalisering av den resulterande vektorn visade sig vara de mest effektiva sätten att bevara informationen som behövs för textklustring. Projektet undersökte även filtrering av upprepade ord, filtrering baserad på ordfrekvens samt användning av dämpning i Random Indexings viktningsschema. Avslutningsvis undersökte projektet hur programmeringsfel som hindrar Random Indexing representationen att fungera kan upptäckas. Att beräkna variansen över hur ordens representationer finns distribuerade visade sig vara ett möjligt sätt att upptäcka åtminstone ett sorts allvarligt fel.